Prediction of Prediction (PoP): Inter-Layer Activation Fusion for Single-Pass Hallucination Detection in Large Language Models
预测之预测:层间激活融合实现LLM单遍幻觉检测
🧭 LLM幻觉检测·隐藏层动态
提出PoP机制,融合跨层隐藏状态捕获层转移不确定性,在单次前向中检测LLM事实错误
📌 工作参考价值(4 点)
- 对LLM生成的推荐文案、商品描述、搜索query等文本,可在单次前向中提取跨层隐藏状态作为事实置信度信号,用于低成本过滤或风险分级,弥补输出token概率的不足。
- PoP的<1.2%延迟开销适合在线生成式推荐系统,可在不增加额外采样的情况下对生成结果做实时健康度评估,触发人工审核或降级。
- 该机制在TruthfulQA上AUROC仅75.5%,且缺乏跨域验证,在电商场景落地前需用自有业务数据验证检测精度与阈值稳定性。
- 层间转移不确定性可作为特征加入现有质量/风控模型,特别针对商品属性、价格、活动规则等事实性易错点。